Repository navigation
Reuse the committed quota capture in native benchmark preflight - #8251
Conversation
Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
loopx-agent
left a comment
There was a problem hiding this comment.
Reviewer: model_agent; gpt-6-astra; OpenAI; runtime_reported; reasoning_effort=xhigh.
Approval conclusion (author-owned PR; GitHub blocks formal self-approval)
动机 / Motivation
Native benchmark 的 checkpoint 已经保留完整原始 quota 决策,但启动前仍把完整 CLI 输出传给宿主,有时又复制一份视图。本改动让宿主取到摘要后,校验并复用同一份已保存决策。目标是减少重复传输和副本,保持模型获得原任务、停止条件、恢复与结算义务;不是删减工作事实或新建决策通道。
真实 CLI 已验证一次 guard、原会话恢复、一次结算和丢回复重放。 真实付费模型采用、App全路径和完整任务收益仍待独立实验。
改动思路 / Approach
复用 C1 既有 prepared-capture-reference 接口:CLI 先提交完整捕获,再返回摘要;adapter 核对原文件后,把路径和摘要交给现有 native reader。原 quota 只执行一次。关闭 native context 时继续使用原 CLI view。相比再造紧凑协议或重跑 guard,这条路径直接复用现有语义 owner,删除一段重复复制代码。Python 只负责 benchmark transport,没有承接新的控制面决策。
具体改动 / Changes
精确 head 9bb1eb5a0744a7a5c9f227ba0b26be764d2f538b,PR base 为 r36,公共祖先 d0a9311e6779e75aa787804f6d625cb6db16a60d。4文件 +135/−27;生产适配器 +16/−18,其他为三处真实契约 fixture。规格为 docs/architecture/rfcs/controller-executor-unified-contract-v0.md,spec_revision=d0a9311e6779e75aa787804f6d625cb6db16a60d,审查 §§7–9 的完整源、兼容恢复、共享调用方及成本边界。
capture_before_replan 的 native 分支传入明确捕获目录、prepared 引用与延迟展示;读出唯一 decision.json 后验证返回 digest,随后 preflight_context_instruction 指向这个完整源。错误 digest 在模型交接前拒绝,保存的原 guard 仍存在,不能另跑一次。非 native 分支保留原捕获根和 CLI view。Native resume fixture 改为解析实际 positionals、按投递的 Stride 与 v1/v2 结算计划执行;progressive fixture 移除测试 helper 的隐式 off,并继续同时断言默认开启及显式关闭。这些修正没有把生产拒绝改成通过。
规范映射:One complete contract、Lossless context delivery 与 Shared production paths 在此调用方切片完成;Outcome and cost benefit 的自然模型与整题部分保留未验证。
对主干的风险 / Risks
主要风险是把摘要当完整工作上下文、丢失原 Turn,或异常后再次准入。独立在精确源码运行 capture、checkpoint admission 与 progressive entrypoint 三组,96 passed、11 个平台限定 skip,耗时481.30秒。包含真实 CLI 的摘要篡改负例、一次 guard、当前源复核、原会话恢复、一次结算和丢回复重放。平台 skip 不算验收。独立 quick premerge 的4项直接检查、Python编译和3项选中 canary 均通过;benchmark-sensitive manual 门由本次代码及实际路径审查处理。未查询远端CI。
核读作者五组配对原始路径报告:对已接 C1 的宿主,guard stdout 45,993→554字节,而45,945字节完整源仍可验证读取。这只是宿主内部传输。相对原集成,C1整包正常模型可见字节约少26.7%,加入拒绝/重放后约少17.6%;这些收益不能全归因于本小片。重放输出反而增大,SQLite正常工具墙钟单样本1.762→2.084秒,不能宣称模型费用、延迟或得分已经改善。
我的整体评价 / Verdict
该增量把已存在的完整捕获能力接入真实 benchmark 入口,生产代码净减少,保留原源和恢复 owner,边界合适。long_horizon=preserved,user_experience=improved 仅指无新操作且内部传输减少。此PR没有页面布局或设置控件改动,已检查宿主与CLI消费者;真实付费模型采用、App全路径和完整任务收益仍待独立实验。当前批准仅适用于这个精确增量和研究集成,不代表主干默认或C1全部验收。
English verdict: APPROVE — 9bb1eb5; reuse of the committed original capture preserves identity, facts, off behavior and once-only recovery. Natural model outcome and full-cost benefit remain unqualified.
ad7d931
into
codex/edgebench-r36-aggressive-20261107
Outcome
A native benchmark checkpoint already publishes the complete quota decision before the model runs. It now asks the existing C1 preparation route for the capture digest and uses the committed source for the native first-read and recovery commands. The guard still runs once. The ordinary path continues to use its existing CLI view.
The benchmark adapter checks the returned digest against the published decision before handing it to the reader. A missing or changed reference stops the handoff while retaining the original guard evidence. Native session continuity and settlement remain with their existing owners.
The checkpoint reentry fixture reads the delivered Stride and settlement contracts and validates the exact native resume positionals. The read-only context fixture exercises the actual omitted default alongside explicit off.
Validation